被Transformer光芒掩盖的论文，Meta科学家回顾十年前创新之作
被Transformer光芒掩盖的论文，Meta科学家回顾十年前创新之作这篇论文包含了当前 LLM 的许多要素，十年后的今天或许仍值得一读。
来自主题: AI技术研报
7407 点击 2025-05-02 15:32
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
这篇论文包含了当前 LLM 的许多要素，十年后的今天或许仍值得一读。
现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。
随着大语言模型 (LLM) 技术的迅猛发展，基于 LLM 的智能智能体在客户服务、内容创作、数据分析甚至医疗辅助等多个行业领域得到广泛应用。
RL + LLM 升级之路的四层阶梯。
近年来，大模型（Large Language Models, LLMs）在数学、编程等复杂任务上取得突破，OpenAI-o1、DeepSeek-R1 等推理大模型（Reasoning Large Language Models，RLLMs）表现尤为亮眼。但它们为何如此强大呢？
RTP-LLM 是阿里巴巴大模型预测团队开发的高性能 LLM 推理加速引擎。它在阿里巴巴集团内广泛应用，支撑着淘宝、天猫、高德、饿了么等核心业务部门的大模型推理需求。在 RTP-LLM 上，我们实现了一个通用的投机采样框架，支持多种投机采样方法，能够帮助业务有效降低推理延迟以及提升吞吐。
强化学习提升了 LLM 各方面的能力，而强化学习本身也在进化。
在拾象团队的 2025 的 AI 关键预测中，我们提到：随着 Agent 时代到来，OS 才是 LLM 厂商们最高的护城河，从 computer use 到 MCP，Anthropic 构建 OS 的决心是 AI labs 中最强、最明显的。
清华智能产业研究院（AIR）博三在读，去年六月份，出于对语言模型 LLM 的强烈兴趣，加入了字节 as Top Seed Intern，在人工智能的最前沿进行探索。刚好这个话题和我现在做的工作强相关，我分享一下自己的观点和亲身体验。
如果你让当今的 LLM 给你生成一个创意时钟设计，使用提示词「a creative time display」，它可能会给出这样的结果：